基于Kinect传感器的动态手势识别

【摘要】随着计算机领域技术的不断发展,尤其是人机交互领域日新月异的飞速进步,往日出现在各类科幻大片中的新颖的人机交互形式已经逐步地出现在人们的日常生活中来。其中对于手势识别技术的相关研究变得十分活跃。人们在日常的生活交际中常常用到各种手势,与听力障碍人十交流或者其他的安静场合时也都会用到手势语言,手势识别的研究具有十分重要的实际的应用意义。手势识别的研究就是要让计算机设备能够“看懂”用户的手势肢体语言,将其转换为相应的文本信息或者相应的语义指令,从而进一步达到各种控制的目的。该研究领域涵盖模式识别、计算机视觉和图形图像等多方面,这也使得该领域的研究富有挑战性。本文的研究对象为人体的动态手势,研究目标是提出一种基于微软的深度摄像设备Kinect传感器且能实时的识别人体动态手势的系统框架。本文将运动的手势分解为两大组成部分,分别为手的运动轨迹和手势中关键的手部形态。文中针对这两大部分,详细的给出了从Kinect传感器捕获两种数据的解决方案：1.利用重要的关键人体关节点的球形坐标数据代表手势轨迹信息；2.利用基于肤色掩膜和深度掩膜结合的方法分割手部区域得到手部区域数据。与此同时提出对捕获到的轨迹数据进行正规化处理方法,具体包含有对用户的远近距离和用户间个体大小差异的正规化；同时还给出了利用运动能量函数进行手部数据关键帧提取方案。文中针对轨迹和关键帧手部数据分别构建其特征描述子：多维数据的帧轨迹特征描述子和Hu矩特征描述子。同时针对多维数据的帧轨迹序列的匹配问题,提出了一种在全局约束条件下的权重化多维数据的动态时间扭曲算法(WM-DTW),利用该算法可以高效处理不同权重下多维数据序列间匹配问题。最终的识别结果由轨迹和关键帧匹配结果综合得出,其中轨迹的匹配结果占主导,关键帧手形数据的识别结果作为辅助信息占少量权重。最后,文中给出了平台模块设计方案和整个系统的流程,并针对具体的界面设计实现了系统。并根据三个不同手势模板库建立测试数据集进行验证实验,通过详细的实验对比和结果分析表明,该框架能在消耗较小时间成本的情况下达到高识别率,证明了文中所提框架的可行性和有效性。
【作者】余旭；
【导师】黄智兴；
【作者基本信息】西南大学，计算机应用技术，2014，硕士
【关键词】Kinect；深度数据；手势识别；特征提取；动态时间扭曲；

【参考文献】
[1]张亚中,周晶,李建华,莫阿玲,王子英,孙维昭,陈春继.青西凹陷青南次凹裂缝性储层地震综合预测[J].石油地球物理勘探,2009,02:225-230+129+255.
[2]任利利.松墨天牛和天敌花绒寄甲对几种树木挥发物的电生理及行为反应[D].北京林业大学,森林保护,2014,博士.
[3]钱珑.几种随机波动率模型及其比较[D].华中师范大学,概率论与数理统计,2014,硕士.
[4]李波.电针治疗创伤后应激障碍的功能磁共振研究[D].成都中医药大学,针灸推拿学,2012,硕士.
[5]陈瀛.流程型制造企业物质循环仿真模型研究[D].北京信息科技大学,管理科学与工程,2013,硕士.
[6]王净净.植物乳杆菌ZJ316黏附蛋白基因的克隆及在大肠杆菌中的表达[D].浙江工商大学,食品科学与工程,2013,硕士.
[7]吴立增.变压器状态评估方法的研究[D].华北电力大学（河北）,2005.
[8]熊小萍.电力系统广域通信网络可靠性分析及优化设计[D].广西大学,2014.
[9]刘宁.嗅鞘细胞移植治疗大鼠马尾神经压迫损伤的初步研究[D].第二军医大学,外科学,2013,硕士.
[10]董明,张勇,张岩,文福拴,孙维真,王超.含电气量信息的电力系统故障诊断解析模型[J].电力系统自动化,2013,06:55-62.
[11]唐一月.“看”的主观化及其对对外汉语教学的启示[D].华中科技大学,汉语国际教育,2013,硕士.
[12]云南石油地质调查大队仪修组.用磁带地震仪的马达电源烧电烙铁[J].石油地球物理勘探,1978,05:81-82.
[13]汤鑫.灰色关联分析在污水处理工艺比选中的应用研究[D].长安大学,市政工程,2014,硕士.
[14]徐梦秋.高速铁路调度指挥系统安全性研究[D].西南交通大学,交通运输安全工程,2013,硕士.
[15]刘永谦.天津站交通枢纽接地方案研究[J].城市轨道交通研究.2007(08)
[16]庄玉良,王萍.数据仓库——企业信息化建设的方向[J].科技导报,2002,07:18-21.
[17]刘海亮,赵宝兴,刘华生.谈谈粮食仓库磷化氢熏蒸气体防爆的问题[J].电气防爆.2000(03)
[18]张宗法.汽车起动机性能测试系统设计[D].东北大学,控制理论与控制工程,2010,硕士.
[19]马常杰,陈守余.基于GIS的IDSS模型研究[J].计算机与现代化,2003,02:32-35.
[20]刁裕博.山铝电子公司经营战略研究[D].大连理工大学,工商管理,2003,硕士.
[21]王兴.基于NARMA模型的射频功放预失真系统研究[D].成都理工大学,通信与信息系统,2013,硕士.
[22]王晓慧.证人证言可靠性研究[D].山东大学,法律（专业学位）,2013,硕士.
[23]徐茂林.鞍山市数字高程模型（DEM）的建立[D].辽宁工程技术大学,测绘工程,2004,硕士.
[24]戴鲁江.远程医疗诊断系统设计与实现[D].南昌大学,计算机技术（专业学位）,2012,硕士.
[25]尹文纲.艾灸治疗膀胱过度活动症随机对照研究[D].北京中医药大学,针灸推拿学,2014,硕士.
[26]薛林平,黄斯聪.上海南京大戏院建筑研究[J].华中建筑,2014,04:112-117.
[27]钟俊.遂渝铁路第8标段施工项目管理[D].西南交通大学,工商管理,2003,硕士.
[28]翟树良.电视节目模板的知识产权保护[D].南京师范大学,法律,2012,硕士.
[29]胡国卿.思想政治课情境教学研究[D].辽宁师范大学,学科教学（专业学位）,2012,硕士.
[30]欧登草娃.他们如何在社会上找到自己的位置——内地新疆高中班毕业生就业状况调查[J].青海民族研究,2014,02:64-70.
[31]徐宝林.基于siRNA-mRNA结合热力学特征的高效siRNA筛选方法研究[D].吉林大学,计算机应用技术,2013,硕士.
[32]曲卫玲.基于代谢组学的琼玉膏延缓衰老作用评价及机制研究[D].广州中医药大学,中医养生学,2014,博士.
[33]赖建云.论WTO环保例外权[D].湘潭大学,国际关系,2003,硕士.
[34]吴磊,陈鹏.基于并行计算的关联规则挖掘优化算法[J].计算机应用,2005,09:1989-1991.
[35]刘旭升.演化博弈中的条件相互作用[D].兰州大学,理论物理,2014,硕士.
[36]吴佳妮.高性能地理计算作业流程处理与调度技术研究[D].国防科学技术大学,信息与通信工程,2012,硕士.
[37]周源燕.收入分配不平等和商品房价变动关系统计分析[D].湖南师范大学,统计学,2014,硕士.
[38]王来哲.油画写生中的情感表达[D].沈阳师范大学,美术学,2014,硕士.
[39]杨凤玉,张蕾蕾,徐吉静,刘清朝,赵敏寿,张新波.非水系锂空气电池的正极材料和电解液研究进展[J].无机化学学报,2013,08:1563-1573.
[40]张晓东.创意与道德——设计伦理研究[J].中国包装工业,2014,08:91+93.
[41]尤超.银杏聚戊烯醇含量分析及其合成的分子生物学研究[D].扬州大学,果树学,2012,硕士.
[42]孟浩.脑血管闭塞性疾病血管重建术后脑血流过度灌注综合征的临床分析[D].吉林大学,临床医学,2013,硕士.
[43]郝志刚.基于属性标记的访问控制模型研究[D].西安电子科技大学,通信与信息系统,2012,硕士.
[44]尚文娜.我国中小企业信用担保模式研究[D].山东大学,工业工程（专业学位）,2013,硕士.
[45]胡亚伟.农业非点源污染物在排水沟渠中的迁移研究[D].西安建筑科技大学,环境工程,2013,硕士.
[46]薛玉平.紧急避险适用主体的特殊情形[D].苏州大学,法律（专业学位）,2014,硕士.
[47]李仕蛟.碳基纳米材料的设计、合成与电化学性能研究[D].山东理工大学,2014.
[48]王荣飞.光学碱度对稀土离子掺杂锗酸盐玻璃荧光特性的影响研究[D].昆明理工大学,材料学,2014,博士.
[49]贺晶.15例PANK2基因相关疾病的基因检测与临床分析[D].山西医科大学,神经病学（专业学位）,2013,硕士.
[50]李伟飞.铜催化不饱和肟酯的环化反应研究[D].兰州大学,有机化学,2014,硕士.